Năm 1860, trong cuộc chiến tranh Nha Phiến lần 2, liên quân Anh, Pháp tấn công thành Bắc Kinh, Lãnh chúa Elgin đã cho đốt Viên Minh Viên để gây sức ép lên triều đình Nhà Thanh, buộc họ phải đầu hàng và ký vào Công ước Bắc Kinh, nhiều cổ vật đã bị cướp để đưa về Anh.[2] Hơn 300 quan lại trông coi và cung nữ đã bị chết cháy. Sau khi bị hủy hoại, một số công trình vẫn còn sót lại, đến năm 1873, dưới thời Đồng Trị, có kế hoạch trùng tu lại một phần làm chỗ an dưỡng cho hai vị thái hậu Từ Hy và Từ An nhưng ngân khố thiếu hụt nên phải kết thúc sau 11 tháng. Sau đó vẫn còn một số cải tạo nhỏ khác. Các khu vực trong Viên Minh Viên vẫn còn ít nhiều được sử dụng.

Ngày 14 tháng 8 năm 1900, liên quân 8 nước tấn công đến Bắc Kinh, Quang Tự và Từ Hy phải bỏ kinh đô mà tháo chạy. Viên Minh Viên lại một lần nữa bị cướp phá và hủy hoại. Từ đó, Viên Minh Viên trở thành nơi hoang tàn, các khu vực không bị bỏ hoang thì bị lấn chiếm.[3]